神经网络是基于学习的软件系统的重要组成部分。但是,它们的高计算,内存和功率要求使在低资源域中使用它们具有挑战性。因此,在部署前通常对神经网络进行量化。现有的量化技术倾向于降低网络准确性。我们提出了反示例引导的神经网络量化改进(CEG4N)。该技术结合了基于搜索的量化和等效性验证:前者最小化了计算要求,而后者保证网络的输出在量化后不会改变。我们根据包括大型和小型网络在内的各种基准测试对CEG4N〜进行评估。我们的技术成功地量化了我们评估中的网络,同时生产的模型比最先进的技术高达72%。
translated by 谷歌翻译
QNNVerifier是第一个用于验证神经网络实现的开源工具,以考虑其操作数的有限字长(即量化)。通过采用最先进的软件模型检查(SMC)技术来实现对量化的新颖支持。它将神经网络的实现基于可满足模数理论(SMT)来将神经网络的实现到一阶逻辑的可解除片段。通过给定硬件确定的精度,通过直接实现来表示固定和浮点操作的影响。此外,Qnnverifier允许指定定制安全性能,并使用不同的验证策略(增量和K-Incuction)和SMT求解器来验证所产生的模型。最后,QNNVerifier是第一个通过间隔分析和非线性激活功能的离散化来组合不变推论的工具,以加快级别验证神经网络的级数。 qnnverifier的视频呈现可在https://youtu.be/7jmgol41zty中获得
translated by 谷歌翻译
健壮的学习是科学机器学习(SCIML)的重要问题。文献中有几篇关于该主题的作品。但是,对方法的需求不断增加,可以同时考虑SCIML模型识别中涉及的所有不同不确定性组成部分。因此,这项工作提出了一种对SCIML的不确定性评估的综合方法,该方法还考虑了识别过程中涉及的几种不确定性来源。提出的方法中考虑的不确定性是缺乏理论和因果模型,对数据腐败或不完美的敏感性以及计算工作。因此,可以为SCIML领域中的不确定性感知模型提供总体策略。该方法通过案例研究验证,开发了用于聚合反应器的软传感器。结果表明,已识别的软传感器对于不确定性是可靠的,并以所提出的方法的一致性证实。
translated by 谷歌翻译
人的大脑能够依次地学习任务,而无需忘记。但是,深度神经网络(DNN)在学习一项任务时遭受灾难性遗忘。我们考虑了一个挑战,考虑了一个课堂学习方案,在该方案中,DNN看到测试数据而不知道该数据启动的任务。在培训期间,持续的捕获和选择(CP&S)在DNN中找到了负责解决给定任务的子网。然后,在推理期间,CP&S选择正确的子网以对该任务进行预测。通过培训DNN的可用神经元连接(以前未经训练)来创建一个新的子网络,从而通过修剪来学习一项新任务,该连接可以包括以前训练的其他子网络(S),因为它没有更新共享的连接,因为它可以属于其他子网络(S)。这使得通过在DNN中创建专门的区域而不会相互冲突的同时仍允许知识转移在其中,可以消除灾难性的遗忘。 CP&S策略采用不同的子网络选择策略实施,揭示了在各种数据集(CIFAR-100,CUB-200,2011年,Imagenet-100和Imagenet-100)上测试的最先进的持续学习方法的卓越性能。特别是,CP&S能够从Imagenet-1000中依次学习10个任务,以确保94%的精度,而遗忘可忽略不计,这是课堂学习学习的首要结果。据作者所知,与最佳替代方法相比,这表示准确性高于20%的改善。
translated by 谷歌翻译
本文提出了我们为在葡萄牙语中自发和准备的语音和语音情感识别的共享任务自动语音识别(SE&R 2022)的共同任务自动语音识别的努力。挑战的目的是考虑葡萄牙语的ASR研究,考虑到不同方言的准备和自发语音。我们的方法包括在域特异性方法中微调ASR模型,应用增益归一化和选择性噪声插入。提出的方法比可用的4个曲目中的3个曲目中提供的强大基线改进了
translated by 谷歌翻译
由于过去几十年中获得的大量技术改进,因此可以使用机器人车进行水下勘探。这项工作描述了用于基于水下车辆的动态定位系统的开发。采用的方法是使用Lyapunov稳定性理论开发的,并通过基于神经网络的算法增强了不确定性和干扰补偿。通过数值模拟评估所提出的控制方案的性能。
translated by 谷歌翻译
零售商的主要障碍之一是了解他们可以从合同需求响应(DR)客户期望的消费弹性。零售商提供的DR产品的目前的趋势不是消费者特定的,这对消费者在这些计划中的积极参与的额外障碍带来了额外的障碍。消费者需求行为的弹性因个人而异。该实用程序将从知识中获益,更准确地了解其价格的变化将如何修改其客户的消费模式。这项工作提出了博士签约消费者消费弹性的功能模型。该模型的目的是确定负载调整,消费者可以为不同的价格水平提供给零售商或公用事业。拟议的模型使用贝叶斯概率方法来识别实际的负载调整,单个合同的客户可以提供它可以体验的不同价格水平。发达的框架为零售商或公用事业提供了一个工具,以获得关于个人消费者如何应对不同价格水平的关键信息。这种方法能够量化消费者对DR信号作出反应的可能性,并识别各个合同的博士客户提供的实际负载调整提供他们可以体验的不同价格水平。该信息可用于最大限度地提高零售商或实用程序可以向系统运营商提供的服务的控制和可靠性。
translated by 谷歌翻译
This paper proposes a novel Adaptive Clustering-based Reduced-Order Modeling (ACROM) framework to significantly improve and extend the recent family of clustering-based reduced-order models (CROMs). This adaptive framework enables the clustering-based domain decomposition to evolve dynamically throughout the problem solution, ensuring optimum refinement in regions where the relevant fields present steeper gradients. It offers a new route to fast and accurate material modeling of history-dependent nonlinear problems involving highly localized plasticity and damage phenomena. The overall approach is composed of three main building blocks: target clusters selection criterion, adaptive cluster analysis, and computation of cluster interaction tensors. In addition, an adaptive clustering solution rewinding procedure and a dynamic adaptivity split factor strategy are suggested to further enhance the adaptive process. The coined Adaptive Self-Consistent Clustering Analysis (ASCA) is shown to perform better than its static counterpart when capturing the multi-scale elasto-plastic behavior of a particle-matrix composite and predicting the associated fracture and toughness. Given the encouraging results shown in this paper, the ACROM framework sets the stage and opens new avenues to explore adaptivity in the context of CROMs.
translated by 谷歌翻译
当前的深神经网络(DNN)被过度参数化,并在推断每个任务期间使用其大多数神经元连接。然而,人的大脑开发了针对不同任务的专门区域,并通过其神经元连接的一小部分进行推断。我们提出了一种迭代修剪策略,引入了一个简单的重要性评分度量度量,该指标可以停用不重要的连接,解决DNN中的过度参数化并调节射击模式。目的是找到仍然能够以可比精度解决给定任务的最小连接,即更简单的子网。我们在MNIST上实现了LENET体系结构的可比性能,并且与CIFAR-10/100和Tiny-ImageNet上的VGG和Resnet架构的最先进算法相比,参数压缩的性能明显更高。我们的方法对于考虑到ADAM和SGD的两个不同优化器也表现良好。该算法并非旨在在考虑当前的硬件和软件实现时最小化失败,尽管与最新技术相比,该算法的性能合理。
translated by 谷歌翻译
从对量子网络和传感器的基本力量的超敏感探测器,机械谐振器能够在室温环境中实现下一代技术。目前,氮化硅纳米腔作为这些进步中的领先微芯片平台,允许机械谐振器从环境热噪声显着隔离的机械谐振器。然而,迄今为止,人类直觉仍然是设计过程背后的驱动力。这里,由自然启发和通过机器学习引导,开发了一种蜘蛛网纳米机械谐振器,其显示通过数据驱动优化算法发现的新颖“扭转软夹紧”机构从环境热环境中分离的振动模式。然后制造该生物启发的谐振器;通过在室温环境中通过高于10亿以上的机械师进行实验证实了新的范式。与其他最先进的谐振器相比,这种里程碑是通过紧凑的设计实现的,该设计不需要亚微米光刻特征或复声胶凝带,使得在大尺度上制造显着更容易和更便宜。在这里,我们展示了机器学习与人类直觉一起工作的能力,以增加创造性的可能性,并在计算和纳米技术中发现新的策略。
translated by 谷歌翻译